Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts
组合各教师所学：基于教师相对偏移的多教师在线蒸馏
🧭 多教师在线蒸馏 · 目标构建优化 ★ 深度解读
Iowa State University · LinkedIn · Harvard University
提出教师相对基座 logit shift 作为多教师在线蒸馏目标，消除基座偏好，提升组合信号均衡与效率
📌 工作参考价值（4 点）
- 多教师信号融合（如多域专家蒸馏到统一推荐/Agent 策略）时，不直接聚合教师输出，而计算每个教师相对其基座模型的 logit 偏移（teacher-minus-base），再统一锚定到学生初始化 logits，消除基座偏好，避免单一教师主导。
- 工程上需为每个教师保存/加载基座 checkpoint 做额外前向，单步开销增加 12%-27%，但可节省总 GPU 小时（本实验 35% H100-hours）；基座可得且推理成本可接受时优先采用该目标。
- 在多教师蒸馏前，用 norm ratio、cancellation、cosine 等几何指标监控教师项是否均衡；若 norm ratio > 5，说明某个教师的基座偏好显著主导，需做 shift 归一化或校准（如温度调节）再组合。
- 多阶段课程（如先搜索、后推荐、再 Agent 指令）或多域路由训练中，shift 目标能降低训练顺序对结果的影响（顺序差距从 10.50 降到 6.42 pp），对迭代流程更鲁棒。